Leslie sinh ra trong một gia đình quý tộc ở Aberdeen, Scotland. Cô đã lớn lên tại lâu đài Lickleyhead ở Aberdeenshire, nơi tổ tiên của gia đình vào thế kỷ 15. Cha cô là Sebastian Arbuthnot-Leslie và mẹ cô là Candida Mary Sibyl "Candy" Leslie (nhũ danh Weld) là hậu duệ của Charles II của Scotland và Anh. Cô có bốn anh chị em ruột. Gia đình cô hiện đang sinh sống tại lâu đài Warthill thế kỷ 12 ở Old Rayne của Scotland. Ông nội của cô là Don Guillermo de Landa y Escandon, từng làm Thị trưởng thành phố México, và cô cũng thuộc anh em họ của nhà sử học người Anh, William Dalrymple.